Regional Prompter
https://gyazo.com/519e7a6cd5e33336e7fb0766664b2632
https://github.com/hako-mikan/sd-webui-regional-prompter
latent couple extentionではプロンプトごとにU-Netの計算を行っていますが、このエクステンションではU-Netの内部でプロンプトごとの計算を行います。詳しくはこちらをご参照ください。
https://github.com/hako-mikan/sd-webui-regional-prompter/blob/main/README.JP.md日本語Doc
以下の機能が更新により追加されています
インペイントによる領域指定
プロンプトによる領域指定 region specification by prompt
差分(アニメーション作成機能)作成
表情差分
TDSさんの動画を見て今更になってこれの面白さに気づいたnomadoor.icon
https://twitter.com/TDS_95514874/status/1737451666948202998TDS
StablediffusionのAttentionについて知りたかったので、各プロンプト(トークン)が画像生成時どこから注意を受けているか可視化してみた
注意重み(qとkの内積)をステップ毎に全層平均してます
ちゃんとパーツに分かれてて面白い
色はやっぱり他の領域に影響を与えてるのが分かる
https://gyazo.com/d0d732a3702bb7b08e27670e606a76cc
Stable DIffusionが生成する際、トークン毎にどこに注目しているかというヒートマップ
服や髪は正確にそれに関係する部分のみに注目しているが、色は全体にバラけてしまっている
故にblack skirtみたいなプロンプトが与えられたとき、スカートのみ黒くしたくても、髪や背景も黒に引っ張られてしまう
ならばスカートと指示したときのアテンションに"黒"というトークンも載せてしまえばよいだろう、ということかな?
ComfyUI版
attention-couple-ComfyUI
Stable Diffusion web UI拡張機能
Regional Prompter:Stable Diffusionでの画像合成を制御する